#!/bin/bash

#
# @author :  deep as the sea
# @department: 多易宇宙联盟大数据研发部
# @date      : 2021-08-08
# @desc      : app端日志ods数据处理到dwd任务提交脚本
#
#

# --driver-java-options Xmx1024M Xms1024M   


export SPARK_HOME=/opt/apps/spark-3.1.1-bin-hadoop2.7
export HIVE_HOME=/opt/apps/hive-3.1.2/
export HADOOP_HOME=/opt/apps/hadoop-3.1.1/

log_curday=$(date -d'-1 day' +%Y-%m-%d)

if [ $# -eq 1 ]
then
log_curday=$1
fi

log_nextday=$(date -d"${log_curday} +1 day" +%Y-%m-%d)


${SPARK_HOME}/bin/spark-submit  \
--master yarn   \
--deploy-mode  cluster \
--class cn.doitedu.datayi.etl.OdsApp2DwdApp  \
--name "app端日志ods数据处理到dwd"  \
--conf spark.sql.shuffle.partitions=5  \
--driver-memory 1024M  \
--executor-memory 2048M \
--driver-cores  1  \
--num-executors 2 \
--queue default    /root/doit23tasks/datayi.jar hdp02 ${log_curday} ${log_nextday}


if [ $? -eq 0 ]
then
   echo "任务名称：app端日志ods数据处理到dwd ，处理日期： ${log_curday} ，结果状态： 成功！"
   echo "任务名称：app端日志ods数据处理到dwd ，处理日期： ${log_curday} ，结果状态： 成功！" | mail -s "任务报告：app端日志ods数据处理到dwd" 34650965@qq.com
   exit 0
else
   echo "任务名称：app端日志ods数据处理到dwd ，处理日期： ${log_curday} ，结果状态： 失败！"
   echo "任务名称：app端日志ods数据处理到dwd ，处理日期： ${log_curday} ，结果状态： 失败！" | mail -s "任务报告：app端日志ods数据处理到dwd" 34650965@qq.com
   exit 1
fi






